Tapak JIC pada asalnya ialah sebuah daerah lampu merah yang dikenali sebagai Kramat Tunggak, yang ditubuhkan pada 1972. Masyarakat tempatan menentang penubuhan daerah lampu merah dan menentangnya sejak penubuhannya. Pada 1998, Gabenor Jakarta memutuskan untuk menutup daerah lampu merah tersebut.[1] Ia telah ditutup secara rasmi[2] pada 31 Disember 1999. Pada tahun 2001, Gabenor Jakarta Sutiyoso telah mengadakan forum sumbang saran dengan semua elemen masyarakat. Idea pembinaan Jakarta Islamic Center (JIC) dicadangkan oleh Sutiyoso kepada Profesor Azyumardi Azra (ketika itu Rektor UIN Syarif Hidayatullah) di New York. Moto JIC bukan sahaja membina masjid. Matlamat utama mereka adalah untuk mengubah JIC sebagai salah satu pusat tamadun Islam di Indonesia dan Asia Tenggara.[3]

JIC ditubuhkan di tapak bekas daerah lampu merah. Laman ini telah dibuka sejak 2003. Kompleks ini meliputi kawasan seluas 7 hektar dengan masjid seluas 6,000 m2 serta tempat pengajian Islam.[4][5] Dua dekri (99/2003 dan 651/2004) oleh Gabenor pada 2003 dan 2004 membentuk struktur organisasi dan kerja pusat.[6]

Pada 19 Oktober 2022, kubah besar Masjid Jami, milik Pusat Islam Jakarta, terbakar dan runtuh sekitar jam 3:00 petang semasa kerja-kerja pengubahsuaian lalu menerbitkan asap hitam tebal ke udara. Polis mengesahkan tiada sesiapa yang cedera dalam kejadian itu.[7]